Nhà Tống chuẩn bị đánh Đại Việt, lấy Thẩm Khởi làm Tri Quế Châu. Vì thế Khởi tích cực huấn luyện thổ binh, thu góp thuyền chở muối nhằm xây dựng thủy quân, ngăn cấm mậu dịch giữa hai nước. Năm Hi Ninh thứ 4 (1071), triều đình lấy Giam làm Hoàng thành sứ, Tri Ung Châu; ông dò biết tình hình, lần lượt gởi thư cho Khởi và người thay thế Khởi là Lưu Di, đề nghị khôi phục mậu dịch, nhằm hòa hoãn mối quan hệ ngày càng khẩn trương của hai nước, không có kết quả, ngược lại còn bị trách mắng là dị nghị, cấm không được nói nữa. Năm thứ 8 (1075), thái úy Đại Việt là Lý Thường Kiệt tiến vào nước Tống, chiếm các châu Khâm, Liêm, phá được 4 trại của Ung Châu.

Giam nghe tin quân Đại Việt đến, duyệt quân châu được 2800 người, triệu các thuộc hạ cùng người có tài trong quận, trao cho phương lược; tập hợp bộ đội, chia khu vực cho họ tự phòng thủ. Dân chúng kinh sợ tan chạy, Giam đem hết của cải trong kho quan và nhà mình ra mà bảo họ rằng: “Khí giới của ta đã đủ, lương thực không thiếu, nay giặc đã đến gần thành, nên cố thủ để chờ ngoại viện. Nếu một kẻ nhấc chân, thì mọi người sẽ dao động, hãy nghe theo lời ta, ai dám bỏ trốn sẽ bị tội chết.” Có Đại hiệu Trạch Tích ngầm ra thành, bị bắt chém làm gương, do vậy mọi người khiếp sợ. Con Giam là Tô Tử Nguyên làm Quế Châu tư hộ, nhân việc công đem theo vợ con đến thăm cha, muốn trở về thì địch đến. Giam nghĩ rằng khó lòng giải thích cặn kẽ, ắt bị hiểu lầm quan giữ thành lại đưa gia đình ra khỏi thành, bèn sai một mình Tử Nguyên ra đi, giữ vợ con của anh ta lại. Giam tuyển dũng sĩ đẩy thuyền ra đánh trả, giết được 2 tướng của quân Nam.[5]

Ung Châu bị vây, Giam đêm ngày đi lại úy lạo tướng sĩ, kéo Thần tý cung [8] bắn quân Việt, giết được rất nhiều. Ban đầu Giam cầu cứu Lưu Di, Di sai Trương Thủ Tiết đi cứu, nhưng Thủ Tiết dừng lại không tiến. Giam lại gởi thư sáp cáo cấp với Đề điểm hình ngục Tống Cầu, Cầu nhận thư thì kinh sợ phát khóc, đốc thúc Thủ Tiết. Thủ Tiết sợ hãi, dời đồn sang Đại Giáp Lĩnh, về giữ Côn Lôn Quan, bất ngờ gặp quân của Đại Việt, không kịp bày trận, toàn quân bị diệt. Quân Đại Việt bắt được lính Bắc, dùng lợi ích dụ dỗ, sai làm Vân thê, lại đào hầm để vượt qua hào, lấy vải hoa che đậy, đều bị Giam đốt sạch. Quân Việt lấy túi đất đắp vào chân thành, chẳng mấy chốc cao đến vài trượng, từ đó trèo vào. Thành bị hãm, Giam vẫn lãnh đạo binh sĩ bị thương, gắng sức chiến đấu, nhưng không địch nổi, bèn nói: “Ta có nghĩa không chết trong tay giặc.” Giam quay về trị sở, giết cả nhà 36 người, lấp kín trong huyệt, rồi tự thiêu. Quân nhà Lý tìm thây ông không được. Thành bị hạ, quân Đại Việt giết hơn 5 vạn dân, cứ 100 thây chất làm một đống, cả thảy 580 đống; kéo sụt thành 3 châu để lấp sông[5].